Layer Selection in Progressive Transmission of Motion-Compensated JPEG2000 Video

MCJ2K (Motion-Compensated JPEG2000) is a video codec based on MCTF (Motion- Compensated Temporal Filtering) and J2K (JPEG2000). MCTF analyzes a sequence of images, generating a collection of temporal sub-bands, which are compressed with J2K. The R/D (Rate-Distortion) performance in MCJ2K is better than the MJ2K (Motion JPEG2000) extension, especially if there is a high level of temporal redundancy. MCJ2K codestreams can be served by standard JPIP (J2K Interactive Protocol) servers, thanks to the use of only J2K standard file formats. In bandwidth-constrained scenarios, an important issue in MCJ2K is determining the amount of data of each temporal sub-band that must be transmitted to maximize the quality of the reconstructions at the client side. To solve this problem, we have proposed two rate-allocation algorithms which provide reconstructions that are progressive in quality. The first, OSLA (Optimized Sub-band Layers Allocation), determines the best progression of quality layers, but is computationally expensive. The second, ESLA (Estimated-Slope sub-band Layers Allocation), is sub-optimal in most cases, but much faster and more convenient for real-time streaming scenarios. An experimental comparison shows that even when a straightforward motion compensation scheme is used, the R/D performance of MCJ2K competitive is compared not only to MJ2K, but also with respect to other standard scalable video codecs

Progressive Transmission of Motion-Compensated JPEG2000 Video

RESUMEN: El objetivo principal de esta tesis ha sido crear un códec de vídeo denominado MCJ2K (Motion Compensated JPEG2000) con dos características esenciales: (1) compatible, sin necesidad de alterar ninguno de los servidores JPIP (Protocolo Interactivo JPEG2000) actuales y (2) capaz de generar un flujo de informaci ón con una relación R/D (rate-distorsión) competitiva. Para lograr un alto rendimiento R/D, nuestra propuesta MCJ2K: (1) genera un code-stream escalable con múltiples puntos de truncado, adaptando así la transmisión a las necesidades del cliente, y (2) explota la correlación temporal presente en la mayoría de las secuencias de imágenes, a través de la compensación de movimiento. El code-stream producido por MCJ2K puede ser distribuido por servidores JPIP estándar, gracias al uso de formatos de archivo estándar J2K. En escenarios con limitaciones de ancho de banda, una cuestión importante en MCJ2K es determinar la cantidad de datos de cada subbanda temporal que debe transmitirse para maximizar la calidad de las reconstrucciones en el lado del cliente. Para resolver este problema, hemos propuesto dos algoritmos de rate-allocation que proporcionan reconstrucciones de calidad progresiva. El primero, OSLA (Optimized subband Layer Allocation, en español asignación optimizada de capas de subbandas), determina la mejor progresión (en calidad) capa a capa, aunque es computacionalmente costoso. El segundo, ESLA (Estimated-slope subband Layer Allocation, en español asignación estimada de capas de subbandas), es sub-óptimo en la mayoría de los casos, pero muy rápido y más conveniente en escenarios de transmisión en tiempo real. Una comparación experimental muestra que, incluso cuando se utiliza un esquema de compensación de movimiento básico, no sólo el rendimiento R/D de MCJ2K es competitivo en comparación con MJ2K, sino también con respecto a otros códecs de vídeo estándar. ABSTRACT: The main objective of this thesis was to create a video codec: (1) compatible, without altering any of the current JPIP (JPEG2000 Interactive Protocol) servers and (2) capable of generating a flow of information with a competitive R/D (rate-distortion) ratio. To achieve high R/D performance, our proposal, MCJ2K (Motion Compensated JPEG2000): (1) generates a scalable code-stream, with multiple truncation points, thus adapting the transmission to the client’s needs, and (2) exploits the temporal correlation present in most image sequences, through motion compensation. MCJ2K code-streams can be served by standard JPIP servers, thanks to the use of only J2K standard file formats. In bandwidth-constrained scenarios, an important issue in MCJ2K is determining the amount of data of each temporal subband that must be transmitted to maximize the quality of the reconstructions at the clientside. To solve this problem, we have proposed two rate-allocation algorithms that provide reconstructions that are progressive in quality. The first, OSLA (Optimized subband-Layers Allocation), determines the best progression (quality) layer by layer, but is computationally expensive. The second, ESLA (Estimated-Slope subband-Layers Allocation), is suboptimal in most cases, but much faster and more convenient for real-time streaming scenarios. An experimental comparison shows that, even when a basic motion compensation scheme used, not only is the R/D performance of MCJ2K competitive compared to MJ2K but also concerning other standard video codecs